What People Almost Did: Evaluating LLM Social Simulations Beyond Behavioral Fit
人们几乎做了什么：超越行为拟合的 LLM 社交模拟评估
🧭 LLM 社交模拟评估 · 推理保真
The Information School, University of Washington · MIT CSAIL
提出 representational adequacy 作为 LLM 社交模拟的新评估目标，用推理轨迹衡量推理过程是否忠实于人群
📌 工作参考价值（4 点）
- 在电商/广告领域用 LLM 模拟用户对推荐、广告、搜索结果的反馈时，不要只收集点击/转化等行为动作；要求 agent 同时输出决策前的 reasoning trace，并检查 scenario–reasoning–action 三元组是否自洽，避免“行为相同但动机错误”扭曲 A/B 模拟结论。
- 评估用户模拟器或对话 agent 时，可将 representational adequacy 作为过程性指标：对比 agent 推理与真实用户访谈/出声思考/评论数据的差异，而不只对比动作分布或最终满意度评分。
- 工程上可把 reasoning trace 作为结构化状态存储（类似日志或 KV 状态），便于事后审计和回归测试；但注意可解释性不等于代表性充分，需要额外与真实认知数据对齐。
- 当前概念性较强、无现成测量方法，直接落地有门槛；但明确提醒：若用 LLM 模拟做干预比较（如不同推荐策略、广告文案），动机模型不可靠时结论风险高，建议对推理保真度做敏感性检验。